Обща поверителност при запазване на поверителността на ML: Осигуряване на обучение с типова безопасност

Бързото развитие на машинното обучение (ML) отвори ера на безпрецедентни иновации, стимулирайки прогреса в безброй индустрии. Въпреки това този прогрес все повече е засенчен от нарастващи опасения относно поверителността и сигурността на данните. Тъй като ML моделите стават по-сложни и управлявани от данни, чувствителната информация, която обработват, се превръща в основна цел за нарушения и злоупотреби. Общата поверителност при запазване на поверителността на машинното обучение (PPML) има за цел да се справи с това критично предизвикателство, като даде възможност за обучение и внедряване на ML модели, без да се компрометира поверителността на основните данни. Тази публикация се задълбочава в основните концепции на PPML, с особен акцент върху това как Типовата безопасност се очертава като мощен механизъм за подобряване на сигурността и надеждността на тези сложни обучителни системи в глобален мащаб.

Нарастващата необходимост от поверителност в ML

В днешния взаимосвързан свят данните често се наричат ​​новият петрол. Предприятия, изследователи и правителства използват огромни набори от данни, за да обучат ML модели, които могат да предсказват потребителското поведение, да диагностицират заболявания, да оптимизират веригите за доставки и много други. И все пак, тази зависимост от данните носи присъщи рискове:

• Чувствителна информация: Наборите от данни често съдържат лична идентифицираща информация (PII), здравни записи, финансови подробности и собствени бизнес данни.
• Регулаторна среда: Строгите разпоредби за защита на данните като GDPR (Общ регламент за защита на данните) в Европа, CCPA (Закон за поверителността на потребителите в Калифорния) в Съединените щати и подобни рамки в световен мащаб изискват стабилни мерки за поверителност.
• Етични съображения: Освен законовите изисквания, има нарастващ етичен императив за защита на индивидуалната поверителност и предотвратяване на алгоритмични пристрастия, които могат да възникнат от неправилно обработени данни.
• Киберсигурност: Самите ML модели могат да бъдат уязвими към атаки, като отравяне на данни, инверсия на модели и атаки за извод на членство, които могат да разкрият чувствителна информация за данните за обучение.

Тези предизвикателства налагат промяна на парадигмата в начина, по който подхождаме към разработването на ML, преминавайки от ориентиран към данни към подход, ориентиран към поверителност. Общата PPML предлага набор от техники, предназначени да изграждат ML системи, които са по своята същност по-надеждни срещу нарушения на поверителността.

Разбиране на Общата поверителност при запазване на поверителността на ML (PPML)

Общата PPML обхваща широк спектър от техники, които позволяват на ML алгоритмите да работят с данни, без да разкриват суровата, чувствителна информация. Целта е да се извършват изчисления или да се извличат прозрения от данни, като същевременно се запазва тяхната поверителност. Основните подходи в PPML включват:

1. Диференциална поверителност (DP)

Диференциалната поверителност е математическа рамка, която предоставя силна гаранция за поверителност чрез добавяне на внимателно калибриран шум към данните или резултатите от заявките. Тя гарантира, че резултатът от анализа е приблизително същият, независимо дали данните на даден индивид са включени в набора от данни или не. Това затруднява изключително много нападателя да извлече информация за конкретен индивид.

Как работи:

DP се постига чрез инжектиране на случаен шум в процеса на изчисление. Количеството шум се определя от параметър за поверителност, епсилон (ε). По-малко епсилон показва по-силни гаранции за поверителност, но може да доведе и до по-малко точен резултат.

Приложения:

• Обобщени статистически данни: Защита на поверителността при изчисляване на статистически данни като средни стойности или брой от чувствителни набори от данни.
• Обучение на ML модели: DP може да се приложи по време на обучението на ML модели (напр. DP-SGD – диференциално частен стохастичен градиентен спуск), за да се гарантира, че моделът не запаметява отделни примери за обучение.
• Публикуване на данни: Публикуване на анонимизирани версии на набори от данни с DP гаранции.

Глобално значение:

DP е основополагаща концепция с универсално приложение. Например, технологичните гиганти като Apple и Google използват DP, за да събират статистически данни за използването от своите устройства (напр. предложения за клавиатура, използване на емоджи), без да компрометират поверителността на отделните потребители. Това позволява подобряване на услугите въз основа на колективното поведение, като същевременно се зачитат правата на потребителите на данни.

2. Хоморфно криптиране (HE)

Хоморфното криптиране позволява изчисленията да се извършват директно върху криптирани данни, без да е необходимо първо да се декриптират. Резултатите от тези изчисления, когато са декриптирани, са същите, сякаш изчисленията са извършени върху оригиналните некриптирани данни. Това често се нарича „изчисление върху криптирани данни.“

Видове HE:

• Частично хоморфно криптиране (PHE): Поддържа само един тип операция (напр. събиране или умножение) неограничен брой пъти.
• Донякъде хоморфно криптиране (SHE): Поддържа ограничен брой операции за събиране и умножение.
• Напълно хоморфно криптиране (FHE): Поддържа неограничен брой операции за събиране и умножение, което позволява произволни изчисления върху криптирани данни.

Приложения:

• Cloud ML: Потребителите могат да качват криптирани данни на облачни сървъри за обучение или извод на ML модели, без доставчикът на облака да вижда суровите данни.
• Защитено аутсорсинг: Компаниите могат да възлагат чувствителни изчисления на външни доставчици, като същевременно поддържат поверителността на данните.

Предизвикателства:

HE, особено FHE, е интензивно за изчисления и може значително да увеличи времето за изчисление и размера на данните, което го прави непрактично за много приложения в реално време. Текат изследвания за подобряване на неговата ефективност.

3. Сигурни многостранни изчисления (SMPC или MPC)

SMPC позволява на множество страни съвместно да изчислят функция върху техните частни входове, без да разкриват тези входове една на друга. Всяка страна научава само крайния резултат от изчислението.

Как работи:

SMPC протоколите обикновено включват разделяне на данни на секретни дялове, разпределяне на тези дялове между страните и след това извършване на изчисления върху тези дялове. Използват се различни криптографски техники, за да се гарантира, че никоя отделна страна не може да възстанови оригиналните данни.

Приложения:

• Съвместно ML: Няколко организации могат да обучат споделен ML модел на своите комбинирани частни набори от данни, без да споделят своите индивидуални данни. Например, няколко болници биха могли да си сътрудничат, за да обучат диагностичен модел, без да обединяват пациентските записи.
• Приватна анализ на данни: Даване на възможност за съвместен анализ на чувствителни набори от данни от различни източници.

Пример:

Представете си консорциум от банки, които искат да обучат модел за борба с измамите. Всяка банка има свои собствени данни за транзакции. Използвайки SMPC, те могат колективно да обучат модел, който се възползва от всичките им данни, без никоя банка да разкрива историята на транзакциите на своите клиенти на другите.

4. Федеративно обучение (FL)

Федеративното обучение е разпределен ML подход, който обучава алгоритъм в множество децентрализирани крайни устройства или сървъри, които държат локални примерни данни, без да обменят самите данни. Вместо това се споделят и агрегират само актуализации на модела (напр. градиенти или параметри на модела) централно.

Как работи:

1. Глобален модел се инициализира на централен сървър.
2. Глобалният модел се изпраща до избрани клиентски устройства (напр. смартфони, болници).
3. Всеки клиент обучава модела локално върху своите собствени данни.
4. Клиентите изпращат актуализациите на своя модел (не данните) обратно към централния сървър.
5. Централният сървър агрегира тези актуализации, за да подобри глобалния модел.

Подобрения на поверителността във FL:

Докато FL по същество намалява движението на данни, то не е напълно запазващо поверителността само по себе си. Актуализациите на модела все още могат да изтекат информация. Следователно, FL често се комбинира с други PPML техники като диференциална поверителност и сигурна агрегация (форма на SMPC за агрегиране на актуализации на модела), за да се подобри поверителността.

Глобално въздействие:

FL прави революция в мобилното ML, IoT и здравеопазването. Например, Gboard на Google използва FL, за да подобри предсказването на следващата дума на устройства с Android. В здравеопазването FL позволява обучението на медицински диагностични модели в няколко болници, без да се централизират чувствителни пациентски записи, което дава възможност за по-добро лечение в глобален мащаб.

Ролята на типовата безопасност в подобряването на PPML сигурността

Докато криптографските техники по-горе предлагат мощни гаранции за поверителност, те могат да бъдат сложни за внедряване и податливи на грешки. Въвеждането на Типова безопасност, вдъхновена от принципите на проектиране на езици за програмиране, предлага допълващ и решаващ слой на сигурност и надеждност за PPML системи.

Какво представлява типовата безопасност?

В програмирането типовата безопасност гарантира, че операциите се извършват върху данни от подходящия тип. Например, не можете да добавите низ към цяло число без изрично преобразуване. Типовата безопасност помага за предотвратяване на грешки по време на работа и логически грешки, като улавя потенциални несъответствия на типовете по време на компилация или чрез строги проверки по време на работа.

Прилагане на типова безопасност към PPML

Концепцията за типова безопасност може да бъде разширена до сферата на PPML, за да се гарантира, че операциите, включващи чувствителни данни и механизми за запазване на поверителността, се обработват правилно и сигурно. Това включва дефиниране и прилагане на специфични „типове“ за данни въз основа на:

• Ниво на чувствителност: Дали данните са сурови PII, анонимизирани данни, криптирани данни или статистическа съвкупност?
• Гаранция за поверителност: Какво ниво на поверителност (напр. конкретен DP бюджет, тип криптиране, SMPC протокол) е свързано с тези данни или изчисление?
• Разрешени операции: Кои операции са разрешени за този тип данни? Например, суровите PII може да са достъпни само при строг контрол, докато криптираните данни могат да бъдат обработени от HE библиотеки.

Предимства на типовата безопасност в PPML:

1. Намалени грешки при внедряване:

   PPML техниките често включват сложни математически операции и криптографски протоколи. Типната система може да напътства разработчиците, като гарантира, че те използват правилните функции и параметри за всеки механизъм за поверителност. Например, типната система може да попречи на разработчика случайно да приложи функция, предназначена за хоморфно криптирани данни, към диференциално частни данни, като по този начин се избягват логически грешки, които могат да компрометират поверителността.

2. Подобрени гаранции за сигурност:

   Чрез стриктно прилагане на правила за това как могат да бъдат обработени различни типове чувствителни данни, типовата безопасност осигурява силна защита срещу случайно изтичане на данни или злоупотреба. Например, „PII тип“ може да наложи всяка операция върху него да бъде медиирана от определен API за запазване на поверителността, вместо да позволява директен достъп.

3. Подобрена композираност на PPML техники:

   Реалните PPML решения често комбинират множество техники (напр. Федеративно обучение с диференциална поверителност и сигурна агрегация). Типовата безопасност може да предостави рамка за гарантиране, че тези сложни системи са интегрирани правилно. Различните „типове поверителност“ могат да представляват данни, обработени от различни методи, а типната система може да провери дали комбинациите са валидни и поддържат желаната цялостна гаранция за поверителност.

4. Проверяеми и проверими системи:

   Добре дефинираната типна система улеснява одита и проверката на свойствата на поверителност на ML системата. Типовете действат като формални анотации, които ясно определят състоянието на поверителност на данните и изчисленията, което улеснява одиторите по сигурността да оценяват съответствието и да идентифицират потенциални уязвимости.

5. Производителност и образование на разработчиците:

   Чрез абстрахиране на някои от сложностите на PPML механизмите, типовата безопасност може да направи тези техники по-достъпни за по-широк кръг от разработчици. Ясните дефиниции на типове и проверките по време на компилация намаляват кривата на обучение и позволяват на разработчиците да се фокусират повече върху самата ML логика, знаейки, че инфраструктурата за поверителност е стабилна.

Илюстративни примери за типова безопасност в PPML:

Нека разгледаме някои практически сценарии:

Сценарий 1: Федеративно обучение с диференциална поверителност

Разгледайте ML модел, който се обучава чрез федеративно обучение. Всеки клиент има локални данни. За да добавите диференциална поверителност, шум се добавя към градиентите преди агрегиране.

Типната система може да дефинира:

• RawData: Представлява необработени, чувствителни данни.
• DPGradient: Представлява градиенти на модели, които са били нарушени с диференциална поверителност, носещи свързан бюджет за поверителност (епсилон).
• AggregatedGradient: Представя градиенти след сигурна агрегация.

Типната система би прилагала правила като:

• Операциите, които директно имат достъп до RawData, изискват конкретни проверки за оторизация.
• Функциите за изчисление на градиенти трябва да дават тип DPGradient, когато е посочен бюджет за DP.
• Функциите за агрегиране могат да приемат само типове DPGradient и да дават тип AggregatedGradient.

Това предотвратява сценарии, при които суровите градиенти (които може да са чувствителни) се агрегират директно без DP, или където DP шумът е неправилно приложен към вече агрегирани резултати.

Сценарий 2: Сигурно аутсорсинг на обучение на модел с хоморфно криптиране

Компанията иска да обучи модел на своите чувствителни данни, използвайки външен доставчик на облак, използвайки хоморфно криптиране.

Типната система може да дефинира:

• HEEncryptedData: Представлява данни, криптирани с помощта на хоморфна схема за криптиране, носещи информация за схемата и параметрите на криптиране.
• HEComputationResult: Представя резултата от хоморфно изчисление върху HEEncryptedData.

Приложени правила:

• Само функции, предназначени за HE (напр. хоморфно събиране, умножение), могат да работят с HEEncryptedData.
• Опитите за декриптиране на HEEncryptedData извън доверена среда ще бъдат маркирани.
• Типната система гарантира, че доставчикът на облака получава и обработва само данни от тип HEEncryptedData, никога оригиналните некриптирани данни.

Това предотвратява случайното декриптиране на данни, докато те се обработват от облака, или опити за използване на стандартни, нехоморфни операции върху криптирани данни, което би дало безсмислени резултати и потенциално би разкрило информация за схемата за криптиране.

Сценарий 3: Анализиране на чувствителни данни в организации със SMPC

Многобройни изследователски институции искат съвместно да анализират данни за пациенти, за да идентифицират модели на заболявания, използвайки SMPC.

Типната система може да дефинира:

• SecretShare: Представлява дял от чувствителни данни, разпределени между страните в SMPC протокол.
• SMPCResult: Представлява резултата от съвместно изчисление, извършено чрез SMPC.

Правила:

• Само SMPC-специфични функции могат да работят с типове SecretShare.
• Директният достъп до единичен SecretShare е ограничен, което предпазва всяка страна от възстановяване на отделни данни.
• Системата гарантира, че изчислението, извършено върху дялове, правилно съответства на желания статистически анализ.

Това предотвратява ситуация, в която страна може да се опита да получи директен достъп до сурови дялове от данни или където се прилагат не-SMPC операции към дялове, компрометирайки съвместния анализ и индивидуалната поверителност.

Предизвикателства и бъдещи насоки

Докато типовата безопасност предлага значителни предимства, нейното интегриране в PPML не е без предизвикателства:

• Сложност на типните системи: Проектирането на всеобхватни и ефективни типни системи за сложни PPML сценарии може да бъде предизвикателство. Балансирането на експресивността с проверяемостта е от ключово значение.
• Натоварване с производителност: Проверката на типа по време на работа, макар и полезна за сигурността, може да въведе натоварване с производителност. Техниките за оптимизация ще бъдат от решаващо значение.
• Стандартизация: Областта на PPML все още се развива. Установяването на индустриални стандарти за дефиниции на типове и механизми за прилагане ще бъде важно за широкото приемане.
• Интегриране със съществуващите рамки: Безпроблемното интегриране на функции за типова безопасност в популярни ML рамки (напр. TensorFlow, PyTorch) изисква внимателен дизайн и изпълнение.

Бъдещите изследвания вероятно ще се съсредоточат върху разработването на езици, специфични за домейна (DSL) или разширения на компилатора, които вграждат PPML концепции и типова безопасност директно в работния процес за разработка на ML. Автоматичното генериране на код, запазващ поверителността, въз основа на типови анотации е друга обещаваща област.

Заключение

Общата поверителност при запазване на поверителността на машинното обучение вече не е нишова област на изследване; тя се превръща в основен компонент на отговорното развитие на изкуствения интелект. Докато навигираме във все по-интензивен свят на данни, техники като диференциална поверителност, хоморфно криптиране, сигурни многостранни изчисления и федеративно обучение предоставят основните инструменти за защита на чувствителна информация. Въпреки това, сложността на тези инструменти често води до грешки при внедряването, които могат да подкопаят гаранциите за поверителност. Типовата безопасност предлага мощен, ориентиран към програмиста подход за смекчаване на тези рискове. Чрез дефиниране и налагане на строги правила за това как могат да бъдат обработвани данни с различни характеристики на поверителност, типните системи подобряват сигурността, подобряват надеждността и правят PPML по-достъпни за глобални разработчици. Приемането на типова безопасност в PPML е критична стъпка към изграждането на по-надеждно и сигурно бъдеще на изкуствения интелект за всички, във всички граници и култури.

Пътуването към наистина сигурен и частен изкуствен интелект е в ход. Чрез комбиниране на усъвършенствани криптографски техники със стабилни принципи на софтуерното инженерство като типова безопасност, ние можем да отключим пълния потенциал на машинното обучение, като същевременно защитаваме основното право на поверителност.